35 天主題:從 AI 專家的角度,解剖 AI 應用裡的資訊安全陷阱。
在模型橫空出世、API 橫行四海、ChatGPT 開始幫大家寫週報的這個時代,
我身邊的朋友分成兩派:一派在 fine-tune LLM,另一派則 fine-tune 自己適應這個世界。
但我想問的是:
「你們真的知道這些模型背後藏著什麼資安風險嗎?」
這系列不是來賣焦慮的,
我是來帶大家從 AI 工程師的日常 出發,一頁一頁打開這個被低估的主題:AI × 資安。
你有想過嗎?
pip install
後發現它有 .py
惡意 payload?如果你沒想過這些問題,恭喜你,你跟 98% 的開發者一樣 —— 只在乎它會不會跑,不在乎它會不會爆。
很多人以為資安是某個資安組、Compliance 人員、或 SOC 平台該處理的事。
錯了。
在 AI 應用裡,資安是一種預設值 default,不是外掛 add-on。
想想你最近一次部署:
from langchain.chains import RetrievalQA
這一行看起來很正常對吧?但你有沒有問過這幾個問題:
1. Retrieval source 的 embedding,有去除 PII 嗎?
2. 使用者 query 有 log 下來嗎?用的是哪層加密?
3. model 輸出是不是會被 cache?會不會洩漏別人的敏感問句?
你的 AI 系統,不只是 LLM + Flow,它是一個有「安全狀態」的應用實體。
⸻
🔎 今天給你 5 個思考題(也是這系列的起手式)
問題
為什麼你該在意
1️⃣ 你的 Prompt Input 有記錄下來嗎?
Prompt = 使用者意圖 + 敏感資訊
2️⃣ 你用了別人的 API,他是誰?
API = 開了一扇門,卻沒看過來的是誰
3️⃣ 你部署了 RAG,embedding 來源可信嗎?
RAG ≠ 萬能問答機,它吃什麼就吐什麼
4️⃣ 模型更新了,你還有備份前一版嗎?
回朔能力是 AI Incident Response 的基礎
5️⃣ 你有測過 prompt injection 嗎?
沒測過 = 預設信任使用者,就是災難預告
🤖 為什麼我想寫這 35 篇
我是資安工程師出身,我是從「太會用 AI 而開始懷疑它」開始反思的。
我發現,AI 開發者們都太樂觀了。
太相信模型、太快丟資料、太晚思考後果。
所以我想用這系列寫一些「工程師看得懂,資安人想分享,PM也能理解」的東西。
每天一篇,談:
• 攻擊面如何長出來的
• 如何最小化暴露
• 開發流程中哪裡可以做防線
• 有哪些 open source 工具可以幫忙
⸻
🔮 明日預告:Day 2|AI 模型會偷資料嗎?
你以為它只在回答你,事實上它正在「記住你」。
明天我們要聊:Prompt 與模型上下文如何成為隱私破口。